عامل أبى يحيى الحسن بن علي بن يحيى بن تميم بن المعز ثامن أمراء بنى زيرى على قابس ، استعان برجار وأطمعه في بلاد الإسلام فأرسل هذا سنة 517 ه / 1123 م أسطولا على المهدية فعجز عن الاستيلاء عليها ، وإزاء ذلك فكر الحسن بن علي الصنهاجى في الاستعانة بعلى بن يوسف بن تاشفين فجعل علي بن يوسف يرسل الحملات على شواطئ صقلية فتغنم وتعود ، وإزاء عجزه عن الرد على المرابطين وجه رجار همه إلى الثأر من أهل إفريقية وإذا كان قد فشل في الاستيلاء على المهدية فقد أرسل في سنة 536 ه / 1141 م أسطولا ضخما استولى على سوسة وصفاقس وكسب بذلك موطن قدم على شاطىء إفريقية ، وهنا صور له جرجى بن ميخائيل الأنطاكي أن الاستيلاء على طرابلس يسير خاصة أن أبا يحيي رافع بن مطروح أعلن استقلاله عن علي بن الحسن الصنهاجى سنة 537 ه / 1142 م فسارع جرجى بن ميخائيل وهاجم طرابلس وكاد يستولى عليها لولا أن جماعة من العرب خفوا لنجدتها وأنزلوا بالنورمان هزيمة فاحشة وقتلوا منهم كثيرين وقد أفاد العرب وأهل البلد من هذه الهزيمة فائدة كبيرة من السلاح والغنائم . وفي سنة 540 ه / 1145 م اجتاحت مدينة طرابلس مجاعة مهلكة أتت على كثيرين من أهلها وأنزلت بها وهنا شديدا ، وفي سنة 541 ه / 1146 م دار القتال بين النورمان وأهل المدينة ويبدو أنهم شكوا في ولاء محمد بن خزرون بن خليفة وشيعته من بنى مطروح فأنزلوهم من الحكم وولوا على أنفسهم رجلا من أمراء لمتونة مر بهم حاجّا مع قومه واستمروا في المقاومة ، وعاد شيعة بنى مطروح ودار القتال بين الجانبين وكانت النتيجة أن تمكن جرجى بن ميخائيل الأنطاكي من التغلب على المقاومة ودخل البلد وأقام حكم النورمان فيها ، وأصلح سورها وحفر خندقها وولى عليها أبا يحيى رافع بن مطروح التميمي الذي تعهد بالطاعة وجمع الجزية التي قررها النورمان ، وكان يعاونه قاضيه أبو الحجاج يوسف بن زيرى ، وقد دام حكم النورمان لطرابلس اثنى عشر عاما ( 541 - 553 ه / 1146 - 1158 م ) وقد اجتهد ابن مطروح في أن يكون واليا عادلا